基于层级树索引器的次二次方注意力机制
🧭 层级树索引稀疏注意力加速长上下文
Zyphra Research
提出层级树结构索引器对KV cache递归压缩，使注意力总成本随序列长度亚线性增长，实现次二次方缩放
📌 工作参考价值（4 点）
- 电商长序列建模：用户历史行为、商品序列、会话记录可视为 KV cache，借鉴层级树压缩摘要，在推理时自上而下检索相关 token，实现长上下文稀疏注意力，降低 inference cost。
- 轻量适配存量基座模型：仅需数亿 token 的 KL 蒸馏，业务侧可为已有 LLM 加装该索引器，无需重新预训练。
- 树深度稳健：即使 6 层深树也不显著掉点，工程上可自由调整索引层级，在精度与延迟间取平衡。
- Agent 场景收益：长上下文 agentic coding 性能不降，适合需要超长工具调用历史 / 文档上下文的电商导购 Agent 或智能客服，可直接扩展 context window 而不更换模型。
PFA：长序列生成式推荐中注意力可渐进聚焦
🧭 生成式推荐 · 稀疏注意力加速 ★ 深度解读
Alibaba International Digital Commerce Group · Zhejiang University
利用 GR 解码中注意力渐进聚焦与跨步排名一致性，PFA 通过共享重要性排名和几何预算缩减，加速长序列生成式推荐
📌 工作参考价值（4 点）
- 对长序列生成式推荐，可借鉴"早期构造共享重要性排名 + 后续几何缩减预算"，替代每步每 beam 独立 top-k，消除重复选择和 KV gather 开销，尤其适合 beam width 大、序列长的电商召回/广告候选生成。
- 工程实现上，用 beam 生成概率加权聚合注意力分布来挑选关键历史 token，比每个 beam 独立选更稳定且能共享连续 KV cache；可先 reorder KV cache，后续直接前缀截断，降低非连续内存访问。
- Step-aware KV projection：为不同解码步分配独立 KV 投影参数，成本低但能显著缓解复用 token 带来的表示退化，适合层级 SID 生成。
- 若业务采用生成式推荐，可保留 Step 0 全注意力做全局探索，不用过早压缩历史，对长序列效果稳定。
基于测试时回归的序列压缩方法
🧭 高效序列压缩 · test-time regression
The Chinese University of Hong Kong · Token Foundry, Alibaba Group
提出 TTR-Compressor，将序列压缩视为测试时回归并用闭式解聚合 token，在稀疏注意力和视觉 token 合并上优于 pooling/投影
📌 工作参考价值（3 点）
- 长用户行为序列压缩：电商推荐中用户历史行为 token 通常很长，进入 LLM 前可用 TTR 替代 mean/attention pooling；它联合拟合所有 token，保留交互，闭式解推理开销可控。
- 多模态商品信息合并：商品图、标题、属性等多模态 token 合并进 LLM 时，可借鉴 TTR visual merger 减少视觉 token 数并保持理解性能，适合多模态搜索或商品描述生成。
- Agent 长程记忆与上下文管理：面向 LLM agent 的对话推荐/搜索助手，用可学习回归压缩替代固定窗口截断或摘要，可能提升长上下文检索与推理（如 RULER）；工程上可将回归维度设小、分块计算闭式解。
通过CubeAtlas实现无畸变无缝全景生成
🧭 全景图像生成 · 扩散Transformer
Tencent
提出CubeAtlas表示与布局感知稀疏注意力，单次前向生成几何一致的全景图
📌 工作参考价值（3 点）
- 直接可借鉴点有限：全景生成与电商推荐核心链路基本无关，主要学术贡献。
- 布局感知稀疏注意力：当 token 布局有明确空间结构时（如商品多视图、场景图），可依据几何关系裁剪注意力矩阵，减少计算同时保持跨视图一致性，对多模态商品内容生成有参考价值。
- 训练自由超分与融合：在不重新训练的情况下提升高分辨率细节，可借鉴用于电商图片/视频后期增强。
FlashMask-3：高效掩码感知分布式注意力
🧭 训练系统 · 掩码感知注意力 ★ 深度解读
Baidu Inc.
将列式稀疏掩码扩展至 Hopper 分布式注意力，实现零通信掩码本地化与负载均衡的长上下文训练加速
📌 工作参考价值（4 点）
- 长序列行为建模或多文档检索中，采用列式稀疏掩码（column-wise sparse mask）编码 document/prefix-LM/sliding-window 等结构化 attention，用 O(N) 边界向量替代 O(N^2) 显式掩码，kernel 跳过全掩码 tile，可大幅降低显存和计算，适合用户长期行为序列的 Transformer 训练。
- 分布式 context parallel 下，掩码边界向量仅需做 clip–shift–max 变换即得到 rank-local 掩码，零跨卡通信；在电商/搜索推荐的多机训练中可直接复用，避免 mask 同步开销。
- 对稀疏 mask 导致的负载不均，借鉴 Hierarchical Compute-Communication IPO：先 IPO 做 compute balance，再 inter-node 交换降低 KV 通信量，最后 intra-node rebalance，在工程上可分层优化。
- 通信重叠可使用 NVSHMEM 对称内存 + 一端 RDMA + mask 驱动的 chunk 剪枝，减少约 50% all-gather/reduce-scatter 流量，提升 overlap 效率，适用于大规模分布式训练（如 LLM 驱动的搜索推荐）。
SparseEngine：稀疏优先的LLM推理引擎
🧭 稀疏注意力 · KV cache推理引擎 ★ 深度解读
Harbin Institute of Technology
通过统一生命周期契约支持15种稀疏注意力方法，并提供Chain Cache与可控前缀缓存剪枝，实现长上下文agent推理10倍吞吐提升
📌 工作参考价值（4 点）
- 生命周期 hook 抽象可借鉴到自研推理服务：将稀疏方法集成点解耦为 SparseController（注册回调）、CacheManager（方法特定状态存储）和 AttentionView（连接注意力后端），可以不改模型代码快速接入多种稀疏/压缩策略，适合电商 Agent 服务中灵活切换 KV 优化方案。
- Chain Cache 对多轮 Agent 场景非常实用：跨请求保留被 eviction 方法裁剪过的 KV 及元数据（如 H2O 累积分数），能避免每轮重新 prefill 完整历史，对电商客服、推荐 agent 等多轮交互可显著降低首字延迟和重复计算。
- 可控 prefix-cache pruning 允许业务方按价值管理上下文：应用可以指定历史区间（如低价值的工具输出）和保留比例，用稀疏策略（如 KVzip）选择保留位置，同时保持逻辑前缀匹配，适合在广告/推荐 agent 中清理过期或冗余的会话内容而不破坏缓存复用。
- 实验结论表明物理 KV 驱逐是吞吐提升的关键：在相同 GPU 内存下，SnapKV 物理驱逐可支撑约10倍更大 batch，带来约10倍 aggregate decode throughput；动态稀疏注意力在匹配并发下可获1.5-2.6倍 decode 吞吐提升，且质量几乎无损（LongBench 平均差异仅 +0.17 分），可作为电商长上下文 LLM 推理优化的直接依据。
CoWindow 注意力：全因果覆盖是头集合的集体属性
🧭 LLM 稀疏注意力 · 集体因果覆盖 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Beijing Academy of Artificial Intelligence · Université Paris Cité
用 KV 头互补长程窗口实现全因果覆盖，训练/解码延迟降 7.4x/3x 且质量接近 FullAttn
📌 工作参考价值（4 点）
- 长上下文 LLM 用于用户行为轨迹、会话日志或 Agent 工具调用历史时，可考虑把 FullAttn 换成 CoWA 式结构：近邻窗口保留最近行为/当前会话，prefix-sink 固定放 user profile 或 system prompt，远处历史按 KV head 切分互补窗口，训练和推理都能省显存省 FLOPs，同时不牺牲关键关联召回。
- 静态位置窗口比动态 router/indexer 更适合线上：不需要额外检索选择，避免了线上 TopK 漂移和 router 延迟；如果业务里做长序列检索式注意力，可以借鉴 position-defined sparsity + collective coverage，把长程访问做成确定性分片，工程实现更稳。
- 多 GPU 部署时按全局 KV head 索引分配窗口，与 tensor parallelism 对齐，每个 rank 只持有互补窗口的 KV cache，可降低长上下文推理显存和 KV cache 访问；适合商品描述生成、Agent 多步轨迹分析等长上下文服务降本。
- 用 synthetic associative recall 快速评估长序列建模是否保留 item 关联，比直接跑长上下文 benchmark 更便宜，适合在推荐系统用户行为序列建模上线前做快速 ablation。
DoSA：点稀疏注意力无损剪枝加速长上下文索引器
🧭 LLM 稀疏注意力推理加速 ★ 深度解读
Dots Studio, Xiaohongshu Inc.
为有符号多哈希索引器构建可证上界，利用种子阈值无损筛除多数 key，避免全头打分，长上下文预填充最高快 2.74 倍
📌 工作参考价值（4 点）
- 在长用户行为序列/商品库的 LLM 检索或生成式推荐中，可借鉴“种子阈值+分数上界”的无损剪枝：先用少量头部或代理模型计算上界，只对可能进入 Top-K 的候选项算完整分，避免全量打分。特别适合有符号多目标融合打分，负头不能简单丢弃时，用激活频率支撑聚合保住下界紧度。
- 工程实现可复用：将剪枝与 GPU kernel 融合，规则 screening 用 Tensor Core，SIMT 做 bound 评估和候选 compact；refinement 阶段同组查询共享 key 加载，稀疏写回只写达到阈值的记录，明显降低 HBM 带宽。若自建长上下文检索/推荐打分服务，这套数据流可直接参考。
- 成本分析给了一个重要信号：上下文越长，选择 token 的索引器占比迅速上升（~1M 时 73%-90.8%），加速索引器比加速注意力本身收益更大。用 Amdahl 定律可提前估算优化收益，避免把力气花在低占比模块。
- 解码阶段利用时间相干性，用近期选中 key 的分数做阈值下界，压缩选择输入，这种“候选记忆 + 阈值预测”思路可迁移到实时推荐/搜索的候选生成与重排中，减少重复打分。
MassAlloc Attention：让注意力自主分配计算
🧭 高效注意力 · 自适应计算分配 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Beijing Academy of Artificial Intelligence · Université Paris Cité
提出MALA，保留完整QK打分，按归一化注意力贡献度跳过低价值后处理，显著降低长上下文训练/推理计算且保持精度
📌 工作参考价值（4 点）
- 在长用户行为序列建模或长上下文推荐中，可借鉴 MALA 思路：保留完整 QK 打分以捕获任意长程兴趣依赖，但用归一化贡献阈值跳过低贡献 tile 的 V 加载和 PV 累积，从而降低线上推理延迟和离线训练 FLOPs，且精度损失极小。
- 统一阈值 τ/L_q 的设计省去逐层/逐头/逐输入单独标定，适合电商场景中用户序列长度动态变化（从几十到几千）的部署；可根据线上延迟要求全局调整 τ，无需重新训练。
- 反向传播复用前向保存的 finalized normalizer，仅用标准 attention 状态推导嵌套支持，不额外存 mask 或索引，内存开销与 FullAttn 持平，对显存受限的推荐模型训练尤其有吸引力。
- 与 MoBA、DSA 等提前丢弃 QK 的稀疏方法不同，MALA 保留完整 QK 打分，适合需要精确长程关联检索的任务（如跨会话用户兴趣召回、长文档中的商品关联），可作为底层注意力替换方案集成到现有长上下文 LLM 推荐或 Agent 系统中。
MoSAR：语义注意力机制混合，学习自适应可近似注意力几何
🧭 LLM 高效注意力 · 自适应几何 ★ 深度解读
Università degli Studi di Bari Aldo Moro
在 RoPE 后通过 query/key 路由器混合短中全局 regime，学习可离散化的距离衰减注意力几何，500M 预训练外推最优
📌 工作参考价值（4 点）
- 在电商搜索/推荐的长用户行为序列建模中，可借鉴「可学习距离衰减 + 轻量路由器」替代固定窗口或硬截断：用 query/key 双侧路由选择短/中/全局 regime，让不同 token/item 自适应选择交互范围，既保留长程依赖又降低注意力成本。
- 推理时采用 top-1 离散化先把 attention support 确定，再计算稀疏 QK。论文显示 support density 随上下文长度下降（0.154→0.104），说明在商品描述、会话历史等长序列场景中，这种路由可带来亚二次的注意力开销，适合在线扩容。
- 若需要显式压成本，可参考 MoSAR-Cost：在 LM loss 上加入归一化期望 reach 正则，以很小的困惑度代价换取更低的预期注意力范围；在推荐排序 loss 里也可以加入类似 expected attention cost 项，实现推理成本可控。
- 结论「平滑可控衰减优于硬 mask」可直接用于改进用户长期兴趣序列的 RoPE 截断或滑动窗口设计，避免硬截断带来的语义不连续。
金字塔式稀疏注意力：对数线性复杂度
🧭 长上下文 LLM 稀疏注意力加速 ★ 深度解读
Shanghai Jiao Tong University · Shanghai Innovation Institute · ByteDance Seed
PISA 用金字塔 Top-K 块选择 + LogSumExp 评分，把可训练稀疏注意力的选择复杂度从 O(N^2) 降至 O(N log N)
📌 工作参考价值（4 点）
- 用户行为序列、商品文档、Agent 长记忆等长上下文场景，可以将 block sparse attention 的 Top-K 选择换成 PISA 的层级候选缩小：长序列（>64K）下路由 latency 显著低于普通 BSA，适合海量长行为序列或长文档理解；短序列（<16K）仍用普通 BSA 更划算。
- 工程实现可借鉴两段式 kernel：训练/prefill 阶段先做 intermediate-level 路由，再把同一 leaf key block 的 query 聚成 tile 复用 key IO，Qtile=4 时 64K+ 额外获得约 1.3× 加速；解码阶段用单 kernel 融合所有层级避免多次 launch，缓存 mean pyramid 只更新当前 token 的祖先路径，均摊 O(log N)。
- 块打分用 LogSumExp 而不用均值或均值+方差：LSE 保留更高阶信息，提升 Top-K 块选择质量和检索类/containment 任务准确率；在 GQA 下按 query heads 求和 LSE 做共享块选择可复用，但要注意它和 full attention 的 head-mass 平均排序规则不完全一致。
- 若业务中有 Agent/RAG 长候选集粗筛，可把“池化层级 + 每层 bounded Top-K 扩展”作为两阶段检索范式：先粗粒度过滤，再对少数候选精确打分，避免全量候选打分；训练时梯度只经过选中 attention，离散选择不参与反传，可作为稀疏模块插入现有结构。
DeepSeek-V4.1-Flash：极限压缩KV缓存的长上下文多模态MoE
🧭 Agent推理优化 · KV缓存压缩 ★ 深度解读
DeepSeek-AI
通过跨层KV复用、FP4量化与SWA有界重放，将每token全局KV缓存降至890字节，实现近恒定decode成本
📌 工作参考价值（4 点）
- KV缓存压缩方案可直接迁移：跨层复用全局KV与Top-K索引（CSA2的Full/Reindex/Reuse三模式）可大幅降低长上下文Agent的内存占用，尤其适合电商多轮对话、工具调用频繁的场景，可将持久化KV缓存缩小至1/8。
- CED架构适合输入重的工作负载：prefill阶段仅激活前一半层（8B参数），对输入token极多的场景（如商品详情+用户行为序列拼接）能显著降低首token延迟，可借鉴其非对称激活设计。
- SWA Bounded Replay的工程取舍：用近似的窗口重放替代精确重建SWA KV，仅需重放最近n_win个token，就能免去持久化SWA缓存，节省SSD和主机内存，适合在线推荐系统中高频短会话的上下文管理。
- FP4量化用于KV缓存而非matmul：对KV cache做训练时量化（QAT）可安全使用FP4精度，仅存储减半而不依赖硬件原生FP4矩阵乘支持，可复用到现有推理引擎，降低HBM压力。
语言模型可以控制自身注意力
🧭 LLM 长上下文稀疏注意力 ★ 深度解读
KAIST AI · Google DeepMind
提出声明式注意力协议，让模型在思维链中显式声明注意力范围，零训练实现长上下文稀疏注意力
📌 工作参考价值（4 点）
- 在长上下文多轮对话（电商客服、购物助手、推荐解释 Agent）中，把历史对话、商品信息、检索结果切分为可寻址片段，让模型通过 <focus> 标签声明需要关注的片段，可减少 50% 以上的 KV cache 读取，适合大 batch 在线服务降延迟。
- 与 RAG/工具调用结合：将检索到的商品/广告/知识片段作为模拟工具返回的“magic chunk”，模型在推理中自行选择关注哪些片段，避免每步全量扫描，可显著降低多文档推理成本。
- 工程上可直接复用论文的 vLLM 集成思路：通过 hook 改写 KV cache block table 实现块对齐掩码，不改内核、兼容 FlashAttention，适合快速在现有推荐/搜索 Agent 服务中落地。
- DA 的注意力计划以文本形式输出，可审计模型在推荐解释、搜索排序中具体关注了哪些输入，用于优化上下文构造和检索策略；未来还可结合 KV cache offloading 实现可逆上下文压缩，适合长会话 Agent。
Qwen3.8-Next 架构设计：评估、效率与训练稳定性
🧭 大规模稀疏 MoE 架构与训练优化 ★ 深度解读
Qwen Team
稀疏 MoE 联合优化效果、效率与训练稳定性，在约 1/9 训练 FLOPs 下追平前代旗舰
📌 工作参考价值（4 点）
- 长序列用户行为建模/Agent 长期记忆：QSA 的压缩 lightweight indexer 在 micro-block 粒度打分，压缩比 r=4，索引成本从 O(n^2) 降到 O(n^2/r)，1M context 下 prefill 7.6×、decode 4.9× 加速，且短序列指标不退化。对电商历史行为序列、会话日志、Agent 记忆库读取等长上下文场景有直接借鉴价值。
- 外部容量扩展：n-gram embedding 表托管在 host memory 并异步预取，51B 参数几乎不增加 per-token FLOPs。推荐系统可借鉴其思路，将大规模 ID/属性交叉特征、低频但重要的记忆型特征放在 off-accelerator 表中，避免主模型算力膨胀；但要注意论文反复出现的结论——loss 单调下降不意味着下游指标同步提升，必须用业务指标单独验证。
- 训练稳定性与优化器：Muon 只用于 2D 线性映射权重，embedding/head/router/GR 低秩投影保留 AdamW；用 4× 最优学习率压力测试验证稳定性，提前暴露 spike 风险。大模型或大 embedding 模型训练时可复用该策略，减少对 qk-clip、SwiGLU-clip 等显式裁剪的依赖。
- 残差门控设计：GR 四分支 + elementwise 门控读取替代 pre-norm，去掉分支间 mixing 后既提升表达能力又减少显存流量。该思想可迁移到序列建模的残差路径；但论文也警示仅看 pre-training 指标会误判，sparse read 在后训练阶段退化就是反面案例。
划分支持集并重构残差：面向视频生成与世界模型的训练-free稀疏注意力
🧭 训练-free 稀疏注意力加速视频 Transformer
Texas A&M University
训练-free稀疏注意力，通过响应耦合分区与探针拟合残差重构，在视频生成和世界模型中保持质量并加速1.48-2.61倍
📌 工作参考价值（4 点）
- 对长序列用户行为建模的 Transformer 推理，可借鉴训练-free 稀疏注意力：先按 query 与 key 的响应相关性做块划分，再用少量 probe query 精确计算残差，用仿射校正补偿被跳过的注意力，避免重新训练。
- 适合已有预训练电商/推荐大模型在线上做低成本加速，不需改权重，直接以更低的 executed-pair density（如 22-26%）换取 1.5-2.6x 端到端吞吐提升。
- 探针拟合成本低、效果贡献大，可以在工程实现中作为轻量残差模块嵌入，优先保证 probe 数量和选择策略，而不是复杂的分区方法。
- 若有多头注意力且头间分布差异明显，可做 head-dependent 稀疏策略，本方法中的响应耦合分区思路可迁移到不同 head 和长序列场景。
Alaya-EVOKE：线性监督扩展与无限世界生成
🧭 交互式世界模型 · 长时记忆与蒸馏
MoE Key Lab of BIPC, USTC · Shanghai Innovation Institute · Alaya Lab
外部化世界状态并重新设计长时域教师，蒸馏出3步无CFG学生模型，实现持久记忆与持续生成
📌 工作参考价值（4 点）
- 外部可索引记忆库：将长会话状态存入 camera-indexed world state bank，按当前视图检索相关片段，避免上下文无限增长；在电商用户行为序列建模中可维护外部用户状态库，按当前 query/item 检索相关历史，而非全量塞入 prompt。
- 长时域教师训练：使用 chunk-wise 分组稀疏注意力 + 检索远处帧 + 线性注意力全局状态实现线性成本长序列监督；在序列推荐或会话模型训练长行为序列时可借鉴此架构降低计算与内存。
- 蒸馏方案：用 30 秒长时域 distribution-matching 目标 + self-forced rollouts 将长时一致性迁移到 3 步学生模型，并去除 CFG；在生成式推荐/文案生成中可用类似 rollouts + 分布匹配蒸馏提升 few-step 生成质量。
- chunk 级条件控制：支持在序列中途改变 prompt 和事件，适合交互式推荐/Agent 长任务中分段注入新指令，保持响应性。
分层稀疏注意力HiLS：端到端分块选择实现无限上下文建模
🧭 分层稀疏注意力 · 超长上下文外推与高效推理
Tencent HY Team · ShanghaiTech University · The Hong Kong University of Science and Technology · University of California, San Diego
提出HiLS Attention，端到端学习分块选择的分层稀疏注意力，推理加速且外推超64倍训练长度
📌 工作参考价值（4 点）
- 在电商推荐的长用户行为序列建模中，可借鉴HiLS的分块检索与端到端选择机制，自动关注关键历史块，突破全注意力计算瓶颈，同时保持预测性能。
- 对于RAG或Agent长上下文场景，分层地标（landmark）压缩文档/对话历史，实现高效检索式注意力计算，既能大幅降低KV缓存，又能外推到极长序列，适合在线长对话或长文档问答。
- HiLS提供全注意力模型的轻量级继续预训练转换方案，已有模型（如推荐系统、对话模型）只需少量训练即可获得超长上下文能力和推理加速，便于业务快速升级。
- 推理时只缓存被选中的分块KV，降低解码内存和延迟（预填充加速9.3x，解码加速15.7x），适合在线服务对长序列实时响应的要求。
可控稀疏的混合注意力：通过可学习分配优化FA/SWA组合
🧭 高效LLM推理 · 混合注意力稀疏分配 ★ 深度解读
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · Baidu Inc.
用L0正则化与增广拉格朗日约束学习全局/局部注意力的最优分配，实现可控稀疏并揭示底层局部、中层全局的一致结构
📌 工作参考价值（4 点）
- 部署长上下文LLM（如query理解、会话摘要）时，可用ConSA动态决定哪些层/头用全局注意力、哪些用滑动窗口，在几乎不降性能的同时减少KV cache和推理计算。
- 借鉴可控稀疏思想，在推荐系统的Transformer中为不同用户行为序列（短期 vs. 长期）分配不同的注意力范围，用类似L0-拉格朗日方法学习分配。
- 增广拉格朗日约束可精确满足目标稀疏率，适合在业务中需要严格控制资源预算的场景（例如单机GPU限制）。
- 手工设计混合注意力时可参考已发现的规律：底层放局部注意力、中层放全局注意力，避免均匀交错模式。
MiniMax稀疏注意力（MSA）
🧭 超长上下文LLM推理 · 分块稀疏注意力
MiniMax · Peking University · NVIDIA · Zhejiang University · Huazhong University of Science and Technology
提出MiniMax稀疏注意力，通过分组索引分支动态选择关键块，将1M上下文计算量降低28.4倍并实现14.2倍预填充加速
📌 工作参考价值（4 点）
- 长上下文LLM服务降本：对于需要处理超长对话历史或文档的多轮Agent、客服系统，MSA的分组稀疏选择机制可直接集成到GQA模型中，用轻量索引分支动态裁剪KV块，大幅降低每token注意力成本，适合高并发在线服务。
- 分组独立Top-k选择：每个GQA group独立选择重要块，比统一选择更灵活，在推荐系统中的用户行为序列建模（如长序列Transformer）可借鉴，按不同head关注点实现差异化稀疏检索。
- 推理kernel协同设计：论文的exp-free Top-k和KV-outer稀疏注意力kernel利用块级访存模式提升张量核心利用率，可直接用于自研推理引擎，尤其在批量解码时实现高吞吐。
- 训练稳定性的KL蒸馏：索引分支通过KL loss对齐主分支注意力分布且梯度解耦，这种学习稀疏选择的方法可迁移到其他需端到端学习稀疏检索的场景（如召回中的粗筛网络）。
Kwai Keye-VL-2.0 技术报告：面向长视频与智能体的多模态基础模型
🧭 多模态大模型 · 长视频理解与智能体 ★ 深度解读
Kuaishou Group
首个在GQA架构上实现DeepSeek稀疏注意力以无损处理256K上下文，并通过跨模态多教师在线蒸馏解决多任务遗忘的多模态模型
📌 工作参考价值（4 点）
- 稀疏注意力用于长序列推荐：DSA 通过 MQA 式索引 + GQA 分组聚合将注意力复杂度从 O(L²) 降至 O(Lk)，这个思路可以直接迁移到用户行为序列建模（如百万级行为 token 的推荐模型），在减少 KV cache 的同时保持关键信息捕获。
- 多教师在线蒸馏解决多任务冲突：MOPD 动态路由 13 个领域专家、按 token 类别缩放优势值的方法，可借鉴到多目标推荐模型训练，避免不同业务目标（点击率、转化率、时长）之间的梯度干扰。
- 视频时序定位能力复用：论文中构建的 TVG、帧级感知、场景密集描述等数据与训练流水线，可迁移到电商直播场景——精确截取商品讲解片段、自动生成直播看点，提升内容分发效率。
- 合成数据 RL 的设计范式：基于可控编辑图像对+规则可验证 reward 的 RL 方法，可用于商品图片差异检测、属性变更验证等场景，低成本获得精准监督信号。
FlashMemory：基于前瞻稀疏注意力的超长上下文KV缓存压缩
🧭 LLM 推理优化 · 稀疏注意力
Tencent · The Hong Kong University of Science and Technology (Guangzhou) · Tsinghua University · Independent Researchers
提出前瞻稀疏注意力与神经记忆索引器，将KV缓存压缩至13.5%且准确率无损
📌 工作参考价值（4 点）
- 借鉴“前瞻记忆索引”思想，在需要维护长历史对话或用户行为的电商推荐Agent中，可训练轻量级索引器预测未来需要的记忆片段，而非保存全量状态，大幅降低内存开销。
- 解耦训练策略值得工程化：索引器作为双编码器，用标准检索训练框架单独训练，无需加载主模型，可快速迭代，特别适合将记忆管理模块插入已有生产模型。
- 稀疏注意力去噪效应提示：在长序列推荐建模（如用户长期行为序列）中，只保留与当前查询相关的关键交互，可能去除无关噪声，提升模型精度。
- 对于超长上下文场景（如多轮Agent对话、长文档分析），KV缓存压缩率超90%且稳定性保持，可直接指导自研LLM推理引擎的显存优化。
全注意力反击：百步训练内将全注意力转化为稀疏注意力
🧭 长上下文推理 · 注意力稀疏化
Nanjing University · Alibaba Group
发现全注意力LLM存在内在稀疏性，通过轻量索引和动态选择仅需数百步训练即可达到近乎无损的稀疏推理
📌 工作参考价值（4 点）
- 动态 top-p 筛选: 对电商搜索/推荐中的长序列用户行为编码，借鉴 query-dependent 的动态 token 预算，代替固定 top-k，可保留关键信息同时降低计算开销。
- 检索头识别与保留: 在 Agent 长对话记忆或商品详细页理解中，仅保留少数注意力头进行全长度上下文检索，其余头使用稀疏模式，可大幅压缩 KV 缓存。
- 低维索引器设计: 用 16 维索引矩阵替代完整注意力分数计算，适合实时性要求高的生成式检索或召回阶段，可在预填充阶段大幅提速。
- 少步迁移训练: 利用已有的全注意力模型，仅需数百步微调即可迁移到稀疏推理，无需从头预训练稀疏模型，节省训练资源且保持精度，适合业务快速迭代。
灯塔注意力：长上下文预训练的高效对称分层注意力方法
🧭 Training ★ 深度解读
Nous Research
对称池化Q/K/V并解耦选择的层次化注意力，训练长上下文时大幅加速且可无损恢复为密集模型